Ich versuche, RabbitMQ mit Celery und Django auf eine EC2-Instanz zu bringen, um eine ziemlich grundlegende Hintergrundverarbeitung durchzuführen. Ich verwende rabbitmq-server 2.5.0 auf einer großen EC2-Instanz. Ich habe den Testclient gemäß den Anweisungen hier (ganz unten auf der Seite) heruntergeladen und installiert. Ich habe gerade das Testskript losgelassen und erhalte die erwartete Ausgabe: Erfassungsrate: 2350 msg / s, minimale / durchschnittliche / maximale Latenz: 588078478/588352905/588588968 Mikrosekunden Erfassungsrate: 1844 msg / s, minimale / durchschnittliche / maximale Latenz: 588589350/588845737/589195341 Mikrosekunden Erfassungsrate: 1562 msg / s, minimale / durchschnittliche / maximale Latenz: 589182735/589571192/589959071 Mikrosekunden Erfassungsrate: 2080 msg / s, minimale / durchschnittliche / maximale Latenz: 589959557/590284302/590679611 Mikrosekunden Das Problem ist, dass es unglaublich viel CPU verbraucht: PID-BENUTZER PR NI VIRT RES SHR S% CPU% MEM ZEIT + BEFEHL 668 rabbitmq 20 0 618 m 506 m 2340 S 166 6,8 2: 31,53beam.smp 1301 ubuntu 20 0 2142 m 90 m 9128 S 17 1,2 0: 24,75 java Ich habe zuvor eine Mikroinstanz getestet und sie hat alle Ressourcen der Instanz vollständig verbraucht. Ist das zu erwarten? Mache ich etwas falsch? Vielen Dank. Bearbeiten: Der wahre Grund für diesen Beitrag war, dass Sellerie eine Weile in Ordnung zu sein schien und dann plötzlich alle Ressourcen auf dem System verbrauchte. Ich habe die Rabbitmq-Verwaltungstools installiert und untersucht, wie die Warteschlangen aus Sellerie und aus der Rabbitmq-Testsuite erstellt werden. Es scheint mir, dass Sellerie diese Warteschlangen verwaist und sie nicht verschwinden. Hier ist die von der Testsuite generierte Warteschlange. Eine Warteschlange wird erstellt und alle Nachrichten gehen hinein und kommen heraus: Celerybeat erstellt bei jeder Ausführung der Aufgabe eine neue Warteschlange: Es setzt den Parameter für das automatische Löschen auf true, aber ich bin nicht ganz sicher, wann diese Warteschlangen gelöscht werden. Sie scheinen sich nur langsam aufzubauen und Ressourcen zu essen. Hat jemand eine Idee? Vielen Dank.
2021-01-29 08:17:07
Ok, ich habe es herausgefunden.
Hier ist die relevante Dokumentation:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Alte Ergebnisse werden nicht automatisch bereinigt. Sie müssen daher sicherstellen, dass die Ergebnisse verwendet werden. Andernfalls gerät die Anzahl der Warteschlangen möglicherweise außer Kontrolle. Wenn Sie RabbitMQ 2.1.1 oder höher ausführen, können Sie das Argument x-expires für Warteschlangen verwenden, das Warteschlangen nach einem bestimmten Zeitlimit abläuft, nachdem sie nicht verwendet wurden. Der Ablauf der Warteschlange kann (in Sekunden) mit der Einstellung CELERY_AMQP_TASK_RESULT_EXPIRES festgelegt werden (standardmäßig nicht aktiviert).
|
Um Eric Conners Lösung für sein eigenes Problem zu ergänzen, heißt es unter http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices:
Ignorieren Sie nicht gewünschte Ergebnisse
Wenn Sie sich nicht für die Ergebnisse einer Aufgabe interessieren, müssen Sie die Option ignore_result festlegen, da das Speichern von Ergebnissen Zeit und Ressourcen verschwendet.
@ app.task (ignore_result = True)
def mytask (…):
etwas()
Ergebnisse können sogar global mit der Einstellung CELERY_IGNORE_RESULT deaktiviert werden.
Zusammen mit Erics Antwort ist dies wahrscheinlich ein Minimum an Best Practices für die Verwaltung Ihres Ergebnis-Backends.
Wenn Sie kein Ergebnis-Backend benötigen, legen Sie CELERY_IGNORE_RESULT fest oder legen Sie überhaupt kein Ergebnis-Backend fest. Wenn Sie ein Ergebnis-Backend benötigen, legen Sie CELERY_AMQP_TASK_RESULT_EXPIRES fest, um den Schutz vor nicht verwendeten Ergebnissen zu gewährleisten. Wenn Sie es für eine bestimmte App nicht benötigen, stellen Sie die lokale Ignorierung wie oben ein.
|
Ihre Antwort
StackExchange.ifUsing ("Editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("Snippets", function () {
StackExchange.snippets.init ();
});
});
}, "Code Ausschnitte");
StackExchange.ready (function () {
var channelOptions = {
Tags: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Editor muss nach Snippets ausgelöst werden, wenn Snippets aktiviert sind
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("Snippets", function () {
createEditor ();
});
}}
sonst {
createEditor ();
}}
});
Funktion createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'Antwort',
autoActivateHeartbeat: false,
convertImagesToLinks: true,
noModals: wahr,
showLowRepImageUploadWarning: true,
Ruf zu PostImages: 10,
bindNavPrevention: true,
Postfix: "",
imageUploader: {
brandingHtml: "Powered by \ u003ca href =" https: //imgur.com/ "u003e" u003csvg class = "svg-icon" width = "50" height = "18" viewBox = "0 0 50 18" fill = "none" xmlns = "http: //www.w3.org/2000/svg" 46,2665 7,94324 47,1084 7.58816C47.4091 7,46349 47,7169 7,36433 48,0099 7.26993C48.9099 6,97997 49,672 6,73443 49,672 5.93063C49.672 5,22043 48,9832 4,61182 48,1414 4.61182C47.4335 4,61182 46,7256 4,91628 46,0943 5.50789C45.7307 4,9328 45,2525 4,66231 44,6595 4.66231C43.6264 4,66231 43,1481 5,28821 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ / M002.492 10.1419C32.492 12.4954 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0455 11.5455.5 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z "/ \ u003e \ u003cpath fill-rule =" evenodd " = "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.662314.459 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.83421.21.21. 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335ZM24.1317 9.279242 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z "/ \ u003e \ u003cpath d =" M16.8045 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62466,51203 4,66232C5,47873 4,66232 5.00066 5,28821 5.00066 6,59049V11,9512C5. 87209 0,400291C0,843612 0,400291 0 1,1159 0 1,98861C0 2,87869 0,822846 3,57676 1,87209 3,57676C2,90056 3,57676 3,7234 2,87869 3,7234 1,98861C3,7234 1,1159 2,90056 0,400291 u \ c / a \ u003e ",
contentPolicyHtml: "Benutzerbeiträge lizenziert unter \ u003ca href =" https: //stackoverflow.com/help/licensing "\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =" https://stackoverflow.com / legal / Inhaltsrichtlinie "\ u003e (Inhaltsrichtlinie) \ u003c / a \ u003e",
allowUrls: true
},
onDemand: wahr,
discardSelector: ".discard-answer"
, instantShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}}
});
Vielen Dank für Ihre Antwort auf Stack Overflow!
Bitte beantworten Sie die Frage unbedingt. Geben Sie Details an und teilen Sie Ihre Forschung!
Aber vermeiden Sie ...
Um Hilfe bitten, Klarheit schaffen oder auf andere Antworten antworten.
Aussagen auf der Grundlage von Meinungen machen; Sichern Sie sie mit Referenzen oder persönlichen Erfahrungen.
Weitere Informationen finden Sie in unseren Tipps zum Schreiben großartiger Antworten.
Entwurf gespeichert
Entwurf verworfen
Anmelden oder anmelden
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Melden Sie sich mit Google an
Melde dich über Facebook an
Melden Sie sich mit E-Mail und Passwort an
einreichen
Post als Gast
Name
Email
Erforderlich, aber nie gezeigt
StackExchange.ready (
function () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% question_page ');
}}
);
Post als Gast
Name
Email
Erforderlich, aber nie gezeigt
Veröffentlichen Sie Ihre Antwort
Verwerfen
Durch Klicken auf "Antwort posten" stimmen Sie unseren Nutzungsbedingungen, Datenschutzbestimmungen und Cookie-Richtlinien zu
Nicht die Antwort, die Sie suchen? Durchsuchen Sie andere Fragen mit dem Tag django rabbitmq Sellerie oder stellen Sie Ihre eigene Frage.